Estimateur du maximum de vraisemblance (EMV) \(\hat\theta\)
Estimateur \(\hat\theta\) qui maximise la Vraisemblance. $$L_{\hat\theta}(\omega)\overset{m-pp}=\max_{\theta\in\Theta}L_\theta(\omega)\quad\text{ ou }\quad\hat\theta(\omega)\overset{m-pp}=\arg\max_{\theta\in\Theta}L_\theta(\omega)$$

• le maximisateur ne dépend pas de la Vraisemblance choisie puisque \(\frac{L_\theta}{L^\prime_\theta}(\omega)\) est constante
• efficacité asymptotique :
    
• on définit l'Information de Fisher via : $$I(\theta):=\int\nabla_\theta\ell_{\theta,1}\nabla_\theta\ell^T_{\theta,1}\,d\mu_\theta\quad\text{ avec }\quad\ell_{\theta,n}:=\log\left(\prod^n_{i=1} f_\theta(X_i)\right)$$ et on suppose que...
        
• on a alors par indépendance des variables que \(I_n(\theta):={\Bbb E}_\theta[\nabla\ell_{\theta,n}\nabla\ell^T_{\theta,n}]=\) \(nI(\theta)\)
            
• conséquence : l'information de Fisher augmente avec la taille de l'échantillon

START
Théorème
Théorème de consistance de l'EMV Hypothèses:

• \(\Theta\) est métrique et compact
• \(\theta\mapsto f_\theta(x)\) est continue et strictement positive sur \(\Theta\) \(m_1-pp\) en \(x\)
• $$\sup_{\theta,\theta^\prime,x}\frac{f_\theta}{f_{\theta^\prime} }(x)\lt \infty$$
• \(\theta_0\in\Theta\)

Résultats:

• $$\hat\theta_n\overset{{\Bbb P}_\theta}{\underset{n\to+\infty}\longrightarrow}\Theta_{\theta_0}:=\{\theta\in\Theta\mid\mu_\theta=\mu_{\theta_0}\}$$i.e. $$\forall\varepsilon\gt 0,\quad{\Bbb P}_{\theta_0}\Big(d(\hat\theta_n,\Theta_{\theta_0})\geqslant\varepsilon\Big){\underset{n\to+\infty}\longrightarrow}0$$

(\(\Theta_{\theta_0}\) est un singleton si le modèle est Identifiable)
Equivalence?:
Résumé:
END

On considère comme Contraste la Divergence de Kullback-Leibler.

Il suffit alors d'appliquer le Théorème de Wald sur ce contraste (vérifier les hypothèses).

START
Ω Basique (+inversé optionnel)
Recto: Donner une supposition implicitement faite dans le théorème de consistance de l'EMV.
Verso: On suppose que les données suivent l'un des modèles \(\theta_0\), or elles peuvent très bien suivre une loi \(\mu\) qui n'est pas de la forme \(\mu_\theta\).
Bonus: Dans ce cas, on peut établir un théorème non pas de consistance mais de cohérence asymptotique qui dit que l'EMV converge vers $$\Theta_\mu:=\{\theta\in\Theta\mid K(\mu,\mu_\theta)=\inf_{\theta^\prime\in\Theta}K(\mu,\mu_{\theta^\prime})\}$$
Carte inversée ?:
END
Efficacité/Normalité asymptotique de l'EMV :

• 1) \(\theta\mapsto\ell_{\theta,1}\) est \(\mathcal C^1\) et \(\displaystyle\int\lvert\nabla_\theta\ell_{\theta,1}\rvert^2\,d\mu_\theta\lt +\infty\) et \(\forall\theta\in\Theta\), \(\exists U(\theta)\in\mathcal V(\theta)\) sur lequel \(\theta\mapsto f_\theta\) est \(\mathcal C^2\)
• 2) $${\Bbb E}_m\left[\sup_{\theta^\prime\in U(\theta)}(\lvert\nabla f_{\theta^\prime}\rvert+\lVert\operatorname{Hess}(f_{\theta^\prime})\rVert)(X_1)\right]\lt +\infty$$
• 3) \(\forall\theta\in\Theta\), il existe \(U(\theta)\in\mathcal V(\theta)\) tel que : $${\Bbb E}_\theta\left[\sup_{\theta^\prime\in U(\theta)}\lVert\operatorname{Hess}(\ell_{\theta^\prime,1})\rVert(X_1)\right]\lt +\infty$$
• on considère \(\theta\in\Theta\) pour lequel \(\hat\theta_n\overset{{\Bbb P}_\theta}{\underset{n\to+\infty}\longrightarrow}\theta\)
• \(I(\theta)\) est inversible

$$\Huge\iff$$

• $$\sqrt n(\hat \theta_n-\theta)\overset{\mathcal L}{\underset{n\to+\infty}\longrightarrow}\mathcal N(0,I(\theta)^{-1})$$
• en supposant 1) et 2), on a : $${\Bbb E}_\theta[\operatorname{Hess}(\ell_{\theta,n})]=-I_n(\theta)$$

Exercices

Donner un estimateur du maximum de vraisemblance pour \(\theta\), où $$\mu_\theta=\mathcal{Pois}(\theta).$$

On veut maximiser la Vraisemblance, prise par rapport à la Mesure de comptage.

Pour cela, go passer par le \(\log\) (croissante) (on a bien un max car le résultat est concave).

Donner un estimateur du maximum de vraisemblance pour \(\theta\), avec la densité : $$f_\theta(x)=e^{-(x-\theta)}\Bbb 1_{{\Bbb R}_+}(x-\theta).$$

On prend l'indicatrice de l'intersection pour pouvoir la placer avant le produit.

On a alors une fonction croissante, qu'il suffit de maximiser sous la contrainte indiquée par l'indicatrice.

Donner un estimateur du maximum de vraisemblance pour \(\theta\), avec la densité : $$f_\theta(x)=\frac12e^{-\lvert x-\theta\rvert}.$$

On passe par le \(\log\).

On peut dériver presque partout, ce qui nous donne l'opposé de la somme des signes de \(X_i-\theta\).

Prendre la médiane permet alors de maximiser.

Donner un estimateur du maximum de vraisemblance pour \(\theta\), où $$\mu_\theta=\mathcal{Unif}([0,\theta]).$$

Réécrire la fonction avec l'indicatrice de l'intersection.

Reste à maximiser sous la contrainte.

C'est un problème de maximisation sous contrainte.